Trong năm 1981, Harahap thi tuyển công chức. Sau khi tốt nghiệp từ Jakarta, ông được bổ nhiệm chức vụ bí thư khu Tây Siantar trong Pematangsiantar, trở thành khu trưởng vào năm 1990. Ông được thăng chức trưởng cơ quan thị trường vào năm 1997 trong thành phố, sau đó ông chuyển đến Nam Tapanuli với tư cách là người đứng đầu cục doanh thu huyện. Ông từng là bí thư khu vực Trung Tapanuli, trước khi chuyển sang chính quyền cấp tỉnh vào cuối những năm 2000.[1][3]

Thị trưởng Medan

Vào ngày 22 tháng 7 năm 2009, Harahap được bổ nhiệm vai trò quyền thị trưởng Medan thay thế Afifuddin Lubis.[4] Năm sau, Harahap tranh cử chức thị trưởng Medan, với tư cách là một trong mười ứng cử viên trong cuộc đua và Dzulmi Eldin là ứng cử viên liên danh với ông.[5] Không ứng cử viên nào trong số mười ứng cử viên giành được hơn 30% số phiếu bầu, trong đó Harahap và Dzulmi giành được 21,2% số phiếu bầu và tiến vào vòng hai.[6] Harahap giành chiến thắng trong cuộc bỏ phiếu với 65,88% phiếu bầu.[7] Ông tuyên thệ nhậm chức thị trưởng vào ngày 26 tháng 7 năm 2010.[8] Trong nhiệm kỳ của Harahap, ông thi hành các quy định về cấm chăn nuôi trong phạm vi thành phố[9] và các ao nuôi trồng thủy sản trên bờ biển thành phố.[10] Lệnh cấm chăn nuôi đặc biệt liên quan đến các cuộc giải tỏa các trang trại lợn trong thành phố, nhưng sau khi nỗ lực vấp phải sự phản đối kịch liệt từ người dân địa phương, điều đó đã bị hoãn lại.[11]

Vào tháng 4 năm 2013, Harahap bị điều tra về một vụ tham nhũng từ thời điểm ông còn là bí thư khu vực Trung Tapanuli.[12] Vị trí thị trưởng của ông đã bị Bộ trưởng Bộ Nội vụ Gamawan Fauzi hủy bỏ vào ngày 10 tháng 5 năm 2013.[13] Harahap bị kết án 5 năm tù vì vụ án vào năm 2014. Trong khi thụ án trong tù, Harahap bị kết án thêm 10 năm tù vào năm 2017 vì chuyển nhượng đất thuộc sở hữu của PT KAI ở Medan trong nhiệm kỳ thị trưởng của ông.[14][15]

Ra tù

Harahap được trả tự do theo lệnh của Tòa án Tối cao Indonesia vào ngày 27 tháng 5 năm 2021 sau khi tòa án xem xét lại vụ án KAI, kết quả cho thấy mặc dù các luận cứ của Harahap đã được chứng minh, nhưng các luận cứ này không được xếp vào luật hình sự và là một hành vi phạm tội dân sự.[16] Sau khi được trả tự do, Harahap gia nhập Đảng Nasdem.[17] Ông cũng là chủ podcast,[18] và cho biết ý định tranh cử với tư cách là nhà lập pháp trong cuộc tổng tuyển cử 2024 Indonesia.[19]